语言模型（LanguageModel，LM）（也称统计语言模型）是描述自然语言概率分布的模型，是一个非常基础和重要的自然语言处理任务

两种常用的自然语言处理基础工具集——NLTK和LTP

最后，还可以将多个卷积层加池化层堆叠起来，形成更深层的网络，这些网络统称为卷积神经网络（ConvolutionalNeuralNetwork，CNN）。

所谓模型预训练（Pre-train），即首先在一个原任务上预先训练一个初始模型，然后在下游任务（也称目标任务）上继续对该模型进行精调（Fine-tune），从而达到提高下游任务准确率的目的。在本质上，这也是迁移学习（TransferLearning）思想的一种应用。

BERT不仅充分利用了大规模无标注文本来挖掘其中丰富的语义信息，同时还进一步加深了自然语言处理模型的深度。

基于深度学习的算法有一个致命的缺点，就是过度依赖于大规模有标注数据

卷积神经网络中的信息也是从输入层经过隐含层，然后传递给输出层，按照一个方向流动，因此它们都被称为前馈神经网络（Feed-ForwardNetwork，FFN）。

首先是没有考虑词的顺序信息

WikiExtractor是一款基于Python的工具包，专门用于处理维基百科的快照

从20世纪90年代开始，随着计算机运算速度和存储容量的快速增加，以及统计学习方法的愈发成熟，使得以语料库为核心的统计学习方法在自然语言处理领域得以大规模应用。

随着规则的增多，规则之间可能存在矛盾和冲突的情况，导致最终无法做出决策

下游任务精调通常是由有标注数据进行训练和优化的

寻找一组优化参数的过程又叫作模型训练或学习

PyTorch一共提供了4种调整张量形状的函数，分别为view、reshape、transpose和permute。

字节对编码（BytePairEncoding，BPE）算法

为了进一步提升精调后模型的通用性以及收敛速度，可以在下游任务精调时加入一定权重的预训练任务损失。这样做是为了缓解在下游任务精调的过程中出现灾难性遗忘（CatastrophicForgetting）问题。

都可以归为文本分类问题、结构预测问题或序列到序列问题

对话系统主要分为任务型对话系统（Task-OrientedDialogue）和开放域对话系统（Open-DomainDialogue）。

in_channels为输入通道的个数，在输入层对应词向量的维度；out_channels为输出通道的个数，对应卷积核的个数；kernel_size为每个卷积核的宽度

可以通过最大似然估计（MaximumLikelihoodEstimation，MLE），分别计算相关的概率值